Để thể hiện sự tôn kính đối với sự lên ngôi của Chiêu Hòa Thiên Hoàng (Hirohito), vào năm 1928, chính phủ Nhật Bản tại Đài Loan đã cho dỡ bỏ văn phòng Chính phủ Thanh triều để bắt đầu xây dựng Hội trường thành phố Đài Bắc (臺北公會堂 Đài Bắc công hội đường) Việc xây dựng bắt đầu từ ngày 23 tháng 11 năm 1932 và hoàn thiện vào ngày 26 tháng 11 năm 1936. Kiến trúc sư Ide Kaoru đương chức Trưởng Kỹ sư dưới chính quyền Nhật Bản tại Đài Loan đã dùng tới 980,000 yên và huy động tới 94,500 công nhân xây dựng.

Cấu trúc thép 4 tầng của tòa nhà được thiết kế để chống chịu được lửa cũng như động đất và mưa bão. Lúc mới khánh thành, Trung Sơn đường được phủ bằng một lớp gạch xanh nhạt để không bị oanh tạc cơ phát hiện. Các cửa sổ được thiết kế theo hướng điển và mang phong cách Hồi giáo Tây Ban Nha.[1] Tòa nhà này có tổng diện tích lên tới 10,568m2 với diện tích nền nhà là 4,104m2, trở thành một trong bốn Hội trường lớn nhất Nhật Bản tại thời điểm bấy giờ. Nó chỉ nhỏ hơn các hội trường Thành phố Tokyo, Osaka và Nagoya

Sau khi Đài Loan được bàn giao lại cho Trung Hoa Dân Quốc vào năm 1945, Tỉnh trưởng Đài Loan Trần Nghi đã đại diện phe đồng minh chấp thuận sự đầu hàng của Nhật Bản. Tướng đại diện Nhật Bản lúc đó là Ando Rikichi - đương là Thống đốc Đài Loan. Sau đó Hội trường thành phố Đài Bắc được đổi tên thành Trung Sơn Đường để vinh danh Tôn Dật Tiên và tòa nhà được sử dụng làm Hội trường chính thức của chính phủ Trung Hoa Dân Quốc.

Trung Sơn Đường được sử dụng như một nơi để tiếp khách nước ngoài và các nhà ngoại giao. Nơi đây đã từng tiếp đón Tổng thống Hoa Kỳ Richard Nixon, Tổng thống Hàn Quốc Lý Thừa Vãn, Tổng thống Việt Nam Cộng Hòa Ngô Đình Diệm, Tổng thống Philippine Carlos P. Garcia, Quốc vương Iran Mohammad Reza Pahlavi,...Tòa nhà còn được dùng để chủ trì các nghi lễ như ký Hiệp ước tương trợ phòng vệ Trung-Mỹ và 3 lần làm lễ chuyển gia quyền lực tổng thống và phó tổng thống Trung Hoa Dân Quốc (lần II, III, IV).[2]